Beliau dilahirkan pada hari Rabu, 25 Mei 1954 di No. 48, Jalan Ibrahim, Temerloh, Pahang. Beliau merupakan anak kepada Hajah Romlah binti Dahalan dan Haji Arshad bin Haji Hassan. Bapanya mendapat ilham untuk menamakan beliau sebagai "Sudirman" dengan mengikut sempena nama seorang pahlawan dari Indonesia, Soedirman kerana mahukan anaknya menjadi seorang pahlawan yang hebat. Beliau juga mesra disapa sebagai "Diman" oleh ahli keluarganya. Ibu bapanya pernah menjual kain ela dan pakaian. Ibunya juga mengambil upah untuk membuat sulaman dan membuka kelas jahitan. Banyak peniaga di sekitar kawasan pekan sering mengambil upah dari ibunya.

Selain itu, ibunya juga seorang wanita yang aktif dalam arena politik sebagai Ketua Kaum Ibu UMNO (perhubungan Negeri Pahang) dan Wakil Rakyat Pertama (1955) mewakili kawasan Triang (bahagian Temerloh), telah meninggal dunia pada tahun 1959 pada usia muda iaitu 32 tahun (ketika Sudirman berumur 5 tahun) setelah mengidap penyakit kanser. Bapanya adalah pengurus Syarikat Bas Temerloh (Temerloh Bus Company), juga seorang ahli politik UMNO sebagai Timbalan Yang Dipertua Majlis Perbandaran di Temerloh, Pahang. Selepas kematian isterinya, bapanya pernah berkahwin dengan Mariam binti Mohamad yang berasal dari Kampung Dala, Lancang. Pasangan ini telah dikurniakan dua orang anak iaitu Baharom dan Maslina. Bapanya meninggal dunia pada tahun 1978 dan sempat untuk melihat kejayaan anaknya yang kian meningkat.

Sudirman adalah anak bongsu, adik beradik yang lain iaitu Zainuddin, Rodziah, Basir (Morni), Roslan dan Roaini. Sejak kecil, Sudirman sering menyanyi di mana sahaja. Di sekolah pula, beliau memasuki pertandingan bersyair, berpidato, berpantun, kuiz dan terlibat dalam persembahan teater dan koir sekolah. Dia suka bersukan, senang berpidato dan setiap waktu di perpustakaan.

Beliau memulakan persekolahannya di Sekolah Rendah Abu Bakar di Mentakab, Pahang (1963-1968), Sekolah Kebangsaan Jalan Bahagia di Temerloh, Pahang (1969-1971) sehingga beliau menamatkan Tingkatan 3 dan Sekolah Menengah Sultan Abu Bakar di Kuantan, Pahang (1972-1975) sehingga beliau menamatkan Tingkatan 6.[7] Sebelum memasuki Tingkatan 6, beliau menjalani kursus persediaan di Universiti Teknologi Mara (dahulunya dikenali sebagai Institut Teknologi Mara), Petaling Jaya. Beliau mendapat tawaran melanjutkan pelajaran ke luar negeri tetapi dia menolak tawaran itu.

Pada tahun 1976, beliau melanjutkan pelajaran dalam Fakulti Undang-Undang di Universiti Malaya, Kuala Lumpur. Di sebalik kepadatan jadual dalam bidang seni, beliau masih dapat membahagi masanya dengan baik di antara menyanyi dan kelas tutorial di Universiti Malaya. Pada tahun 1980 beliau telah menerima Ijazah undang-undang (LL.B) dengan mendapat Kepujian Kelas Ketiga. Tahun 1983, Sudirman menjalani latihan guaman dan diiktiraf sebagai peguam pada tahun 1984. Bagaimanapun, Sudirman meninggalkan bidang guaman kerana memilih bidang seni sebagai kerjayanya.

Beliau mula mencipta namanya sebagai penyanyi apabila dia berjaya merebut gelaran Johan Bintang RTM peringkat akhir yang diadakan di Dewan Pay Fong, Melaka pada 11 Ogos 1976. Beliau mendendangkan lagu "Seruling Bamboo" dan "Big Spender In The Cabaret". Pada peringkat awal saringan, beliau memberi jawapan spontan seperti "seluar pinjam..." apabila disoal oleh pengacara rancangan mengenai seluar yang menggeleber yang dipakainya. Para penonton menyukai caranya yang berterus terang. Beliau mendendangkan lagu "Jali Jali", sebuah lagu klasik dari Indonesia. Para penonoton telah melihat dengan jelas sekali bahawa suaranya memang unik.